Hilary Duff sinh ra ở Houston, Texas là con gái thứ hai của Bob Erhard Duff - chủ một hệ thống bán đồ gia dụng và Susan Colleen Duff - nội trợ. Hilary và chị gái Haylie Duff cùng học diễn kịch. Họ giành được các giải thương địa phương khác nhau. Ở tuổi 8 và 6, chi em nhà Duff tham gia vở ballet The Nutcracker Suite với Columbus Ballet Met ở San Antonio. Chị em họ ngày càng hứng thú với ý tưởng diễn xuất chuyên nghiệp và cuối cùng chị em Duff cùng mẹ đã đi đến California. Ông Bob thì ở lại Houston để chăm lo công việc kinh doanh.